"Listen to What the Man Said" được thu âm vào khoảng đầu năm 1975 bởi Wings trong quá trình thu âm tại New Orleans cho album Venus and Mars.[2][8][9] Đây là bài hát được McCartney đặt kỳ vọng rất cao, nhưng những lần thu âm đầu không phát huy được hết tiềm năng của bài hát.[8][9] McCartney nói về ý tưởng ban đầu của anh cho bài hát vào năm 1975, "Đây là một trong nhiều bài hát mà chúng tôi đã thực hiện với nhiều kỳ vọng lớn. Mỗi khi tôi chơi dó trên dương cầm, mọi người đều sẽ nói ‘Ồ, tôi thích bài này.’ Nhưng khi chúng tôi thực hiện phần nhạc nền, chúng tôi cảm giác rằng chúng tôi chưa thực sự cùng nhau chạm tới được bài hát một chút nào."[10] Sau khi Mason lồng thêm một vài đoạn guitar vào, cả ban nhạc vẫn chưa bằng lòng.[8][9] Tuy nhiên khi Scott thu thêm phần sax đơn, ban nhạc đã rất hài lòng. McCartney nói về việc Tom Scott đã tác động đến bản nhạc như thế nào, "Ai đó nói [nhạc sĩ nhạc jazz nổi tiếng] ‘Tom Scott sống gần đây đấy.’ Chúng tôi bảo, yeah, hãy gọi cho anh ấy, và để xem liệu anh ấy có tới, và anh ấy tới chỉ sau nửa tiếng! Anh ở đấy, với sax của anh, và anh ấy ngồi xuống trong phòng thu và bắt đầu chơi. Người kỹ sư thu âm lại nó. Chúng tôi ghi nhớ lại tất các nốt mà anh ấy chơi. Anh ấy bước vào và tôi nói ‘Tôi nghĩ chính là nó đấy.’ Anh nói ‘Cậu có thu lại nó không?’ Tôi nói có, rồi chúng tôi nghe lại bản thu. Không ai có thể tin được, rồi anh ấy đi ra và thử thêm một vài lần nữa, nhưng tất cả đều không hay bằng. Có lẽ anh ấy đã dồn hết cảm xúc vào những lần chơi đầu, lần chơi đầu tiên."[10] Hiệu ứng nụ hôn được nghe thấy trong bài hát được thu âm bởi kỹ sư Alan O'Duffy, người đã bắt Linda làm điều này.[11]

Phần cuối của bài hát có một đoạn âm ngắn chuyển tiếp đến bài hát tiếp theo trong Venus and Mars, "Treat Her Gently/Lonely Old People".